Tên gọi Bà Lụa của quần đảo này được người ta giải nghĩa rất khác nhau. Có nguồn cho rằng Bà Lụa là tên của một vị nữ tướng hậu cần đã lập xưởng dệt lụa trên đảo này để cung cấp cho nghĩa quân Nguyễn Trung Trực (Anh Động, 2010).[3] Nguồn khác giải thích rằng một người Pháp có tầm ảnh hưởng lên chính quyền thuộc địa đã đến khai thác vùng này, và bà vợ người Việt gốc Hoa của ông có tên là Bà Lụa. Giấy tờ, chủ quyền đất đai đều do bà đứng tên, từ đó quần đảo có tên là Bà Lụa.[4][5] Lại có nguồn cho rằng khoảng năm 1858, một ông quan lớn lấy được một bà vợ có nhan sắc và tính tình hiền hậu. Bà tìm nơi bình yên, lánh xa chốn quan trường và cuối cùng đã dừng chân tại đây. Hàng ngày bà nuôi tằm, dệt lụa và từ đó người ta đặt tên quần đảo theo nghề của bà.[6]